Karl lên ngôi Württemberg sau cái chết của cha ông vào ngày 25 tháng 6 năm 1864 và đăng quang vào ngày 12 tháng 7 năm 1864. Ông thực thi quyền quân chủ với khuynh hướng tự do hơn cha mình, ông thay thế Chủ tịch bộ trưởng (tương đương thủ tướng) Joseph von Linden bằng Karl von Varnbüler, và khôi phục quyền tự do báo chí và vào ngày 24 tháng 12 năm 1864, sau đó là quyền bầu cử phổ thông được áp dụng cho các Đại biểu Nhân dân của Viện thứ hai vào ngày 26 tháng 3 năm 1868.

Về chính sách đối ngoại, sau khi đứng về phía Đế quốc Áo trong Chiến tranh Áo-Phổ năm 1866, ông tiến gần hơn đến Vương quốc Phổ. Sau Trận Königgrätz, ông ban hành một hiệp ước quân sự bí mật với Phổ (được công khai vào năm 1867) và công nhận việc giải thể Bang liên Đức vào năm 1866. Tuy nhiên, thái độ chống Phổ đã chính thức được thể hiện bởi triều đình, chính phủ và người dân.

Vì liên minh này, Württemberg đã đứng về phía Phổ trong Chiến tranh Pháp-Phổ từ 1870 đến 1871. Cuối tháng 10 năm 1870, nhà vua rút về Friedrichshafen và vào tháng 10 năm 1870, ký một trong những hiệp ước tháng 11, gia nhập Liên bang Bắc Đức bắt đầu vào ngày 1 tháng 1 năm 1791 và đổi tên thành Đế quốc Đức.[3] Ông được đại diện tại Cung điện Versailles trong buổi tuyên bố hoàng gia bởi người anh họ mình là Vương tử August của Württemberg.

Nhà vua có xu hướng rút lui khỏi cuộc sống riêng tư theo những cách khác, đi khắp đất nước và sau đó dành thời gian cho Nice. Khi làm như vậy, ông bị cáo buộc đã bỏ bê các nghĩa vụ với tư cách là một vị vua lập hiến, bao gồm cả việc để dồn ứ tới 800 tài liệu chưa ký trong một trường hợp. Hành động này gây phiền toái cho chính quyền, nhưng mặt khác nó cũng thuận tiện cho chính phủ, những người có khả năng điều hành phần lớn công vụ mà không cần có sự can thiệp của Nhà vua.

Do Württemberg trở thành Nhà nước Liên bang của Đế quốc Đức từ năm 1871 nên có những hạn chế đáng kể về chủ quyền của nó. Württemberg mất đi vị thế quốc tế trước đây nhưng có được an ninh tốt hơn cả bên trong lẫn bên ngoài. Các dịch vụ bưu chính và điện báo, chủ quyền tài chính, bảo trì văn hóa và quản lý đường sắt vẫn nằm trong tay Württemberg, và Vương quốc Württemberg cũng có chính quyền quân sự riêng.